Robbins sinh tại West Covina, California và lớn lên tại thành phố New York, là con trai của Mary Cecelia (tên thời con gái là Bledsoe), một nữ diễn viên, và Gilbert Lee Robbins (1931–2011),[2][3] một nhạc sĩ, ca sĩ nhạc dân gian, diễn viên và cựu quản lý của The Gaslight Cafe.[4][5][6] Robbins có 2 chị em gái, Adele và Gabrielle, và một anh em trai, David. Ông được dạy dỗ theo Công giáo.[7][8] Gia đình ông đã chuyển đến làng Greenwich khi ông còn nhỏ, lúc đó cha ông đang theo đuổi sự nghiệp trong nhóm nhạc dân gian The Highwaymen. Robbins đã bắt đầu diễn kịch khi 12 tuổi và gia nhập câu lạc bộ kịch của trường trung học Stuyvesant.[9] Ông đã học 2 năm tại Đại học tiểu bang New York tại Plattsburgh rồi sau đó quay lại California để học tại trường Điện ảnh UCLA.[10]